|
|
Automatická detekce jazyka textového dokumentu
Cakl, Jan ; Pešán, Jan (oponent) ; Szőke, Igor (vedoucí práce)
Tato práce se zabývá rozpoznáním jazyka textového dokumentu. Výsledný program obsahuje implementaci dvou odlišných metod určených pro rozpoznání jazyka textu. První metoda je založena na frekvenčních statistikách N-gramu. Druhou metodou jsou Markovské řetězce a poslední metoda za účelem rozpoznání jazyka využívá umělou neuronovou síť. Řešení je implementováno v jazyce Python.
|
|
| |
|
|
Vyhledávání duplicitních textů
Pekař, Tomáš ; Kouřil, Jan (oponent) ; Smrž, Pavel (vedoucí práce)
Cílem této práce je navrhnout a implementovat systém pro vyhledávání duplicitních textů. Výsledná aplikace by měla umět dokumenty indexovat a také je v indexu vyhledávat. V naší práci se zabýváme předzpracováním dokumentů, jejich fragmentací a indexací. Dále rozebíráme metody vyhledávání duplicit, s čímž je spojena také strategie selekce podřetězců. Práce obsahuje i popis základních datových struktur, které lze použít pro indexaci n-gramů.
|
|
|
Mining of Textual Data from the Web for Speech Recognition
Kubalík, Jakub ; Plchot, Oldřich (oponent) ; Mikolov, Tomáš (vedoucí práce)
The preliminary goals of this project were to get familiar with language modeling for speech recognition and techniques for acquisition of text data from the Web. Speech recognition techniques are introduced and statistical language modeling is described in detail. The text also covers mining models and techniques, information retrieval especially. Specific problems of Web mining are discussed and Google search is introduced. Special attention was paid to detailed description of implementation of the text mining system. However, the main goal of this work was to determine, whether the data acquired from the Web can provide some improvement into the recognition systems. The text is describing experiments, which use the retrieved Web data to update sample language models.
|
|
| |
|
|
Modelování dynamiky prosodie pro rozpoznávání řečníka
Jančík, Zdeněk ; Fapšo, Michal (oponent) ; Matějka, Pavel (vedoucí práce)
V současných systémech pro rozpoznání mluvčího se zpravidla využívají krátkodobé akustické příznaky. Jiné příznaky se používají jen zřídka. V práci se zaměřím na prosodické příznaky získané z průběhu základního tónu a energie. Tyto příznaky modelují průběh základního tónu v jednotlivých fonémech nebo slabikách. Z literatury je známo, že systémy založené na prosodii neposkytují tak dobré výsledky jako akustické, ale spojením akustického systému a systému založeného na prosodii se dosáhne značného zlepšení výsledků. To ověřím spojením s akustickým systémem vyvinutým na VUT. Při experimentech použiji data z evaluací pořádaných Národním úřadem pro standardy a technologie (NIST).
|
|
|
Jazykové modelování pro němčinu
Tlustý, Marek ; Bojar, Ondřej (vedoucí práce) ; Hana, Jiří (oponent)
Práce se zabývá jazykovým modelováním pro němčinu. Soustředí se na specifika německé gramatiky, která činí běžným n-gramovým modelům problémy. Nejprve popisuje statistické metody jazykového modelování a vysvětluje problematické jevy němčiny. Následně navrhuje vlastní varianty n-gramových jazykových modelů s cílem tyto problémy zlepšit. Vlastní modely jsou trénovány jednak jako standardní n-gramové, a jednak také metodou maximální entropie s n-gramovými rysy. Oba typy jsou vždy porovnány z hlediska korelace ručně hodnocené plynulosti vět a automatického hodnocení - perplexity. Srovnány jsou zároveň výpočetní nároky. Dále je navrhnuta množina vlastních rysů reprezentující počet gramatických chyb vybraných jevů. Úspěšnost se ověřuje na schopnosti predikovat ručně hodnocenou plynulost. Využito je modelů maximální entropie a vlastních modelů klasifikujících jen na základě mediánů hodnot rysů vypočtených z trénovacích dat.
|
|
| |
|
|
Suggester implementation for the OpenGrok search engine
Hornáček, Adam ; Kotal, Vladimír (vedoucí práce) ; Kofroň, Jan (oponent)
Funkcia automatického doplňovania je veľmi dôležitou súčasťou moderných vyhľadávacích nástrojov. Cieľom práce je implementovať takýto nástroj pre pro- jekt OpenGrok. Vyhľadávací nástroj OpenGrok je vybudovaný nad Apache Lu- cene a podporuje syntax jeho dotazov. Prezentovaná implementácia automatic- kého doplňovania popdporuje túto syntax dotazov a poskytuje návrhy nielen pre prefixy, ale aj pre wildcardy, regulárne výrazy alebo frázy. Implementácia tak- tiež berie do úvahy možnosť zľučovania dotazov. To znamená, že ak je už jeden dotaz špecifikovaný a používateľ začína písať ďalší dotaz, tak prvý dotaz obme- dzuje návrhy pre druhý dotaz. Propagácia špecifických návrhov je založená na už vytvorenej index dátovej štruktúre knižnice Lucene a na predchádzajúcich vyhľadávaniach používateľov.
|
|
|
Jazykové modelování pro němčinu
Tlustý, Marek ; Bojar, Ondřej (vedoucí práce) ; Hana, Jiří (oponent)
Práce se zabývá jazykovým modelováním pro němčinu. Soustředí se na specifika německé gramatiky, která činí běžným n-gramovým modelům problémy. Nejprve popisuje statistické metody jazykového modelování a vysvětluje problematické jevy němčiny. Následně navrhuje vlastní varianty n-gramových jazykových modelů s cílem tyto problémy zlepšit. Vlastní modely jsou trénovány jednak jako standardní n-gramové, a jednak také metodou maximální entropie s n-gramovými rysy. Oba typy jsou vždy porovnány z hlediska korelace ručně hodnocené plynulosti vět a automatického hodnocení - perplexity. Srovnány jsou zároveň výpočetní nároky. Dále je navrhnuta množina vlastních rysů reprezentující počet gramatických chyb vybraných jevů. Úspěšnost se ověřuje na schopnosti predikovat ručně hodnocenou plynulost. Využito je modelů maximální entropie a vlastních modelů klasifikujících jen na základě mediánů hodnot rysů vypočtených z trénovacích dat.
|
host ::
RSS.